Autodesk基于Mesos的通用事件系统架构

0顶
0踩

2015-08-28 17:12 by 副主编 mengyidan1988 评论(0) 有5538人浏览

Mesos kafka scala

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【编者按】本文由Autodesk Cloud软件架构师Olivier Paugam撰写，解释了如何集合Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato、EC2等基础设施解决实际问题。此外，以如此小规模的团队解决问题确实令人赞叹。

以下为分享原文：

数月前分到了一项新的任务：做一个集中事件系统（central eventing system），允许各个后端彼此通讯——包括动态流式（activity streaming）后端、渲染、数据转换、BIM、日志报告、分析等等。最终确定，这应该是一个可以匹配多种负载、使用场景与可扩展配置文件的通用系统。此外，这个系统还需要具备简单易用的接口。最后，这个系统的每部分都应当能够自动扩展。

然而，笔者根本没有那么多的时间去深入开发，再选用稳定通用、性能良好的Kafka作为存储核心（当然这里Kafka并不是唯一选择）。同时需要注意的是，这里还需要通过一些API将之以前端的方式提供。而在一些思考后，使用后端管理offset同样被否决，因为这样做在处理实例错误时需要建立大量约束。

基于这些需求，这里设置了两个独立的层：一个API层，处理接收的信息；还有一个后端层，托管常驻、有状态的Kafka做通信的流处理服务（比如执行生产者和消费者）。这两个独立的层分别具备良好的扩展性，只需要一致的路径以确保客户端与同一个后端流处理服务通讯不会中断。

这两个独立的层完全用Scala实现，并使用了Play！框架。同时，这两个层都非常依赖Akka的actor系统（每个节点通常运行着几百个actor）。后端层执行了定制的Kafka producer与consumer，并使用了独立的actor设置来管理预读与写入缓存。在整套系统中，“ Everything is implemented as nested finite-state machines ”被一直执行。使用Librato收集度量数据，随后转到Splunk处理。

如上所述，这里实现了两个独立的层，那么它们之间的路由机制该如何完成？非常简单，这里使用的是用RabbitMQ——可靠且兼具弹性！对于实现这个“phone-switch”，AMQP队列是良医妙药。同时，使用逻辑分片对其扩展也十分简单（比如对每个事务中出现的cookie使用哈希），它将会把一组固定的后端节点与一个RabbitMQ broker连接起来。

那么，这里为什么不聚合RabbitMQ broker？其主要原因在于这么做并不会带来显著地提升，同时也非常耗时。实际上，各独立broker之间的分区流量更高效易控。跟收益比起来，附加的工作量微不足道。

简而言之，在一些容器拓扑中执行针对路径路径，其取决于不同后端节点主导的是什么样的streaming session。扩展整体与分层拓展一样简单，取决于具体的需求。实际中唯一的限制来自虚拟网络适配器与其带宽。

现在有趣的部分来了：流量的稳定该如何确保，同时还需要避免byzantine 故障？其实这里并不存在太多的挑战，只需使用一个简单的二阶段提交协议，将客户端与后端作为镜像的状态机（比如始终同步），这可以通过让读写操作需求明确的确认请求来实现。尝试读取的做法在失败后进行重试，直到获得确认，接下来会对后端更新（比如将Kafka offset转发，或者编排一系列事件发布）。这样，客户端与后端之间的传输就类似于“分配session”、“读取”、“确认”、“读取”、“确认”……“处理”。

通过这些处理，系统的巨大优势在于可以有效地呈现操作幂等，同时还可以在状态机上编译所有逻辑，无需使用烦人的说明语句（PS，请原谅我追求酷炫的思想）。此外，任何网络故障都可以通过重试解决，从而可以自由地实现control-flow和back-pressure。

这样一来，所有功能都通过Apache ThriftAPI提供（汇聚了压缩和HTTS，并准备实现某些情况下场景的TCP切换）。当下，平台客户端已经使用了Python、Scala、NET和Ruby等多个语言，并使用了大量炫酷的技术。值得一提的是，Kafka offset是由客户端控制的，使得控制后台更为简单。

到了这里，你肯定想问，后端节点挂掉的话该如何处理？这里需要感谢的是二阶段提交协议让读取数据变得简单——客户端复制失败后会使用现有的offset重新分配一个新的streaming session。因此这里的问题存在于向Kafka写入数据，因为它是异步的，因此可能会面临受到下游back-pressure的情况（在节点失败后，Kafka broker也会出现问题，这一点必须注意）。因此这里需要为后端系统实现一个优雅的关闭功能，从而在等待写入时关闭阻止新的请求进入。再不济，也可以将任何等待数据刷新到磁盘中，等待稍后处理。

这里你肯定想问，基础设施问题该如何解决？这里的原理是相同的，任何与处理streaming session的实际后端节点传输中断必然会导致速度变慢，但是由于二阶段提交，这里不会产生令人不快的影响。

此外，在落入Kafka log之前数据会被自动加密（AES 256），当然你一定要在Kafka producers和consumers之间共享秘钥那么只能祝你好运了。关于安全，streaming session通过OAUTH2认证，每个请求单独用MD5-HMAC，并通过TLS向后端集群传输。

那么，这个炫酷的系统是如何部署的？这里使用是Mesos/Marathon集群来运行（现在还不是DCOS，不过在未来会转换过去，并享受其强大的控制面板）。当下，集群托管在AWS EC2 上，在多个c3.2xlarge实例上被复用（在给定区域中执行一个小型部署，10到20算不少了）。请注意，在Kubernetes（不管是EC2还是GCE）也可以使用同样的方法。

使用Ochopod技术完成部署（自集群容器），它同样是开源的。将操作减到最少。比如推进build时，API层只负责分配一些新的容器，等分配好之后再逐步清理旧的。所有这些操作都通过一个专门的、在集群中运行的Jenkins从节点来处理（其本身也是一个Ochopod容器）。

事实上，笔者也开发了Ochothon mini-PaaS，只是为了快速开发运维（devops）所有的容器。

下面让你体会Ocho-* 平台的强大：1个人（笔者）可以管理跨越2个regions上的5个系统部署，包括所有备份基础设施……而且还有时间写写博客和代码。

所以，总体来讲，对它设计与编码是件很有意思的事情，再加上它现在作为Autodesk Cloud基础设施的关键部分在生产环境运行（相当不错）。也欢迎各位提交问题。

相关阅读：

原文链接：How Autodesk Implemented Scalable Eventing Over Mesos（译者/孙薇审校/朱正贵责编/仲浩）

查看图片附件

分享到：

0
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Autodesk基于Mesos和Kafka的通用事件系统架构

【编者的话】我非常喜欢这篇博客，因为它揭示了许多简单架构模块—例如：Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato和EC2可以整合起来来解决实际问题。而且一个小团队就可以获得非常令人惊讶的成就。几个月...

Autodesk基于Mesos的可扩展事件系统

几个月前，我接到一个任务，要拿出一个集中式的事件系统，可以让我们的各种后端组件相互通信。我们讨论了后端活动流、渲染、数据转换、建筑信息模型（BIM）、个性身份（identity）、日志报表、分析等等。找寻其中...

Mesos入门介绍

2016年会火的技术之一， Mesos。花了一些时间，将Mesos相关的知识整理了一下，以做备忘。水平有限，如有疏漏或谬误之处，还望指出。 Mesos是什么 Mesos是一个集群管理平台。可以理解为是一种分布式...

Docker 与 Mesos 的前生今世 | 数人云CTO肖德时@KVM分享实录

今天小数给大家带来一篇技术正能量满满的分享——...十五年计算机行业从业经验，曾为红帽 Engineering Service 部门内部工具组 Team Leader，Docker/Mesos 社区代码贡献者。现负责数人云云计算的研发及架构设计工...

2018年开源容器云，你的技术路线选对了吗？

同时，Mesos通过两级调度架构管理多种类型的应用程序，第一级调度由Mesos监控集群的空余资源，并将空余资源按照一定规则分配给各个计算框架；第二级调度由框架（Framework）组成，各个计算框架会根据需要选择接受...

qconshanghai2016

http://2016.qconshanghai.com/schedule 大会日程 2016年10月20日星期四 07:45 开始签到 ...大数据应用与系统优化实践（厂商共建）微服务架构，我们该如何实践？地点百...

2016 上海 Qcon 值得关注的技术

虚拟机层面加入虚拟化的支持，能有效解决传统热更新方案的痛点，高效精确的回收系统资源。对于大规模 Java 应用，可以做到不重启 Java 进程而达到更新应用的目的，整体更新操作时间也被大大缩短。 ...

qconshanghai2015

Uber首席系统架构师 Matt Ranney Slides下载高性能数据分析平台架构实践：SequoiaDB + Power Linux IBM资深售前技术工程师孔皓 Slides下载 10:40 短休专题可扩展、高可用...

我关注的一周技术动态 2015.08.30

服务化和资源管理技术 1. Docker基础技术：AUFS ... ...要点: 支持层次化镜像是 docker 的一大创新之一, 本文详细介绍了实现层次化镜像的技术手段之一 aufs 的使用...2. Autodesk基于Mesos的通用事件系统架构 ...

（转）那些年不容错过的硅谷IT公司

是由 dotCloud 创建的一款开源应用引擎，它相当于是加在 LXC（LinuX Containers，一种轻量、基于容器、操作系统层的虚拟化技术）上的管道，通过高级 API 为进程单独提供了一个轻量级的虚拟环境。Docker 镜像犹如一个...

最受IT公司欢迎的50款开源软件

Sencha Touch 自称是“一种用于构建通用移动应用程序的领先的跨平台移动 Web 应用程序框架，基于 HTML5 和 JavaScript”。它既有开源许可证版本，也有商业许可证版本。据官方网站声称，《财富》100 强中 60% 使用它...

那些年不容错过的115家硅谷IT公司

基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip

【优质项目推荐】 1、项目代码均经过严格本地测试，运行OK，确保功能稳定后才上传平台。可放心下载并立即投入使用，若遇到任何使用问题，随时欢迎私信反馈与沟通，博主会第一时间回复。 2、项目适用于计算机相关专业（如计科、信息安全、数据科学、人工智能、通信、物联网、自动化、电子信息等）的在校学生、专业教师，或企业员工，小白入门等都适用。 3、该项目不仅具有很高的学习借鉴价值，对于初学者来说，也是入门进阶的绝佳选择；当然也可以直接用于毕设、课设、期末大作业或项目初期立项演示等。 3、开放创新：如果您有一定基础，且热爱探索钻研，可以在此代码基础上二次开发，进行修改、扩展，创造出属于自己的独特应用。欢迎下载使用优质资源！欢迎借鉴使用，并欢迎学习交流，共同探索编程的无穷魅力！基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip

六一儿童节快乐！（六一儿童节庆祝代码）Vue开发

六一儿童节快乐！（六一儿童节庆祝代码）Vue开发 like Project setup npm install Compiles and hot-reloads for development npm run serve Compiles and minifies for production npm run build Lints and fixes files npm run lint Customize configuration

uniapp聊天工具源码.zip

提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。适用人群：这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。使用场景及目标：在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。其他说明：为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。

NX二次开发uc1603 函数介绍

NX二次开发uc1603 函数介绍，Ufun提供了一系列丰富的 API 函数，可以帮助用户实现自动化、定制化和扩展 NX 软件的功能。无论您是从事机械设计、制造、模具设计、逆向工程、CAE 分析等领域的专业人士，还是希望提高工作效率的普通用户，NX 二次开发 Ufun 都可以帮助您实现更高效的工作流程。函数覆盖了 NX 软件的各个方面，包括但不限于建模、装配、制图、编程、仿真等。这些 API 函数可以帮助用户轻松地实现自动化、定制化和扩展 NX 软件的功能。例如，用户可以通过 Ufun 编写脚本，自动化完成重复性的设计任务，提高设计效率；或者开发定制化的功能，满足特定的业务需求。语法简单易懂，易于学习和使用。用户可以快速上手并开发出符合自己需求的 NX 功能。本资源内容提供了丰富的中英文帮助文档，可以帮助用户快速了解和使用 Ufun 的功能。用户可以通过资源中的提示，学习如何使用 Ufun 的 API 函数，以及如何实现特定的功能。

【目标检测数据集】遥感类军用飞机检测数据集3800张20类别VOC+YOLO格式.zip

【目标检测数据集】遥感类军用飞机检测数据集3800张20类别VOC+YOLO格式.zip 数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：3821 标注数量(xml文件个数)：3821 标注数量(txt文件个数)：3821 标注类别数：20 标注类别名称:["A1","A2","A3","A4","A5","A6","A7","A8","A9","A10","A11","A12","A13","A14","A15","A16","A17","A18","A19","A20"] 每个类别标注的框数： A1 框数 = 1646 A2 框数 = 1726 A3 框数 = 1164 A4 框数 = 642 A5 框数 = 1262 A6 框数 = 436 A7 框数 = 680 A8 框数 = 944 A9 框数 = 1073 A10 框数 = 924 A11 框数 = 501 A12 框数 = 702 A13 框数 = 1652 A14 框数 = 177

grpcio-1.64.0-cp38-cp38-win_amd64.whl

Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。

Kan网络pytorch的实现

权重替换：KAN网络通过将权重参数替换为可学习的单变量函数，提高了网络的性能和可解释性。这种设计使得KAN网络在准确性和可解释性方面优于传统的多层感知器（MLP）。激活函数位置：与传统的MLP不同，KAN网络中的激活函数位于网络的“边”（即权重）上，而不是节点上。这使得KAN网络能够更灵活地调整每个连接上的激活函数，从而提高模型的表示能力。非线性核函数：KAN网络可以使用非线性核函数来替代MLP“边”上的线性函数，进一步增强了模型的非线性处理能力。逼近精度：KAN网络可以设定细粒度的结点（Knot）来提高逼近精度，这使得KAN网络在处理复杂任务时能够获得更高的准确度。 KAN网络的数学理论基础主要来自于Kolmogorov-Arnold表示定理。该定理指出，任意一个多变量连续函数都可以表示为有限数量的单变量连续函数的两层嵌套加法的形式。KAN网络正是基于这一定理，通过将多元函数的学习转化为对一组单变量函数的学习，提高了模型的表达能力和计算效率。

MySQL的performance-schema详解.md

MySQL的performance_schema详解.md

0顶0踩